NLP ಯ ಅಡಿಪಾಯವನ್ನು ನಿರ್ಮಿಸುವುದು: N-ಗ್ರಾಂ ಭಾಷಾ ಮಾದರಿ ಅನುಷ್ಠಾನದ ಆಳವಾದ ಅಧ್ಯಯನ

ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯು ಪ್ರಾಬಲ್ಯ ಸಾಧಿಸಿರುವ ಈ ಯುಗದಲ್ಲಿ, ನಮ್ಮ ಜೇಬಿನಲ್ಲಿರುವ ಸ್ಮಾರ್ಟ್ ಅಸಿಸ್ಟೆಂಟ್‌ಗಳಿಂದ ಹಿಡಿದು ಸರ್ಚ್ ಇಂಜಿನ್‌ಗಳಿಗೆ ಶಕ್ತಿ ನೀಡುವ ಅತ್ಯಾಧುನಿಕ ಅಲ್ಗಾರಿದಮ್‌ಗಳವರೆಗೆ, ಭಾಷಾ ಮಾದರಿಗಳು ಅನೇಕ ಆವಿಷ್ಕಾರಗಳನ್ನು ನಡೆಸುತ್ತಿರುವ ಅಗೋಚರ ಎಂಜಿನ್‌ಗಳಾಗಿವೆ. ನಿಮ್ಮ ಫೋನ್ ಮುಂದಿನ ಪದವನ್ನು ಊಹಿಸಲು ಮತ್ತು ಅನುವಾದ ಸೇವೆಗಳು ಒಂದು ಭಾಷೆಯಿಂದ ಇನ್ನೊಂದಕ್ಕೆ ಸರಾಗವಾಗಿ ಪರಿವರ್ತಿಸಲು ಅವು ಕಾರಣ. ಆದರೆ ಈ ಮಾದರಿಗಳು ವಾಸ್ತವವಾಗಿ ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ? GPT ಯಂತಹ ಸಂಕೀರ್ಣ ನರಗಳ ನೆಟ್‌ವರ್ಕ್‌ಗಳು ಏರುವುದಕ್ಕಿಂತ ಮೊದಲು, ಗಣನಾ ಭಾಷಾಶಾಸ್ತ್ರದ ಅಡಿಪಾಯವು ಸುಂದರವಾದ ಸರಳ ಆದರೆ ಶಕ್ತಿಶಾಲಿ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ವಿಧಾನದ ಮೇಲೆ ನಿರ್ಮಿಸಲಾಗಿತ್ತು: ಅಂದರೆ N-ಗ್ರಾಂ ಮಾದರಿ.

ಈ ಸಮಗ್ರ ಮಾರ್ಗದರ್ಶಿಯು ಮಹತ್ವಾಕಾಂಕ್ಷೆಯ ದತ್ತಾಂಶ ವಿಜ್ಞಾನಿಗಳು, ಸಾಫ್ಟ್‌ವೇರ್ ಇಂಜಿನಿಯರ್‌ಗಳು ಮತ್ತು ಕುತೂಹಲಕಾರಿ ತಂತ್ರಜ್ಞಾನ ಉತ್ಸಾಹಿಗಳ ಜಾಗತಿಕ ಪ್ರೇಕ್ಷಕರಿಗಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ನಾವು ಮೂಲಭೂತ ಅಂಶಗಳಿಗೆ ಹಿಂತಿರುಗುತ್ತೇವೆ, N-ಗ್ರಾಂ ಭಾಷಾ ಮಾದರಿಗಳ ಹಿಂದಿನ ಸಿದ್ಧಾಂತವನ್ನು ವಿವರಿಸುತ್ತೇವೆ ಮತ್ತು ಒಂದನ್ನು ಮೊದಲಿನಿಂದ ನಿರ್ಮಿಸುವುದು ಹೇಗೆ ಎಂಬುದರ ಪ್ರಾಯೋಗಿಕ, ಹಂತ-ಹಂತದ ವಿವರಣೆಯನ್ನು ಒದಗಿಸುತ್ತೇವೆ. N-ಗ್ರಾಂಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು ಕೇವಲ ಇತಿಹಾಸ ಪಾಠವಲ್ಲ; ಇದು ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣೆಯಲ್ಲಿ (NLP) ಬಲವಾದ ಅಡಿಪಾಯವನ್ನು ನಿರ್ಮಿಸುವಲ್ಲಿ ನಿರ್ಣಾಯಕ ಹೆಜ್ಜೆಯಾಗಿದೆ.

ಭಾಷಾ ಮಾದರಿ ಎಂದರೇನು?

ಮೂಲತಃ, ಭಾಷಾ ಮಾದರಿ (LM) ಪದಗಳ ಅನುಕ್ರಮದ ಮೇಲೆ ಸಂಭವನೀಯತೆಯ ವಿತರಣೆಯಾಗಿದೆ. ಸರಳವಾಗಿ ಹೇಳುವುದಾದರೆ, ಅದರ ಪ್ರಾಥಮಿಕ ಕಾರ್ಯವೆಂದರೆ ಮೂಲಭೂತ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸುವುದು: ಪದಗಳ ಅನುಕ್ರಮವನ್ನು ನೀಡಿದರೆ, ಮುಂದಿನ ಹೆಚ್ಚು ಸಂಭವನೀಯ ಪದ ಯಾವುದು?

ಈ ವಾಕ್ಯವನ್ನು ಪರಿಗಣಿಸಿ: "ವಿದ್ಯಾರ್ಥಿಗಳು ತಮ್ಮ ___. ತೆರೆದರು."

ಒಂದು ಉತ್ತಮ ತರಬೇತಿ ಪಡೆದ ಭಾಷಾ ಮಾದರಿಯು "ಪುಸ್ತಕಗಳು", "ಲ್ಯಾಪ್‌ಟಾಪ್‌ಗಳು" ಅಥವಾ "ಮನಸ್ಸುಗಳು" ನಂತಹ ಪದಗಳಿಗೆ ಹೆಚ್ಚಿನ ಸಂಭವನೀಯತೆಯನ್ನು ಮತ್ತು "ಫೋಟೋಸಿಂಥೆಸಿಸ್", "ಆನೆಗಳು" ಅಥವಾ "ಹೆದ್ದಾರಿ" ನಂತಹ ಪದಗಳಿಗೆ ಅತ್ಯಂತ ಕಡಿಮೆ, ಬಹುತೇಕ ಶೂನ್ಯ, ಸಂಭವನೀಯತೆಯನ್ನು ನೀಡುತ್ತದೆ. ಪದಗಳ ಅನುಕ್ರಮದ ಸಂಭವನೀಯತೆಯನ್ನು ಅಳೆಯುವ ಮೂಲಕ, ಭಾಷಾ ಮಾದರಿಗಳು ಯಂತ್ರಗಳಿಗೆ ಮಾನವ ಭಾಷೆಯನ್ನು ಸುಸಂಬದ್ಧ ರೀತಿಯಲ್ಲಿ ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು, ಉತ್ಪಾದಿಸಲು ಮತ್ತು ಸಂಸ್ಕರಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತವೆ.

ಅವುಗಳ ಅನ್ವಯಗಳು ವಿಶಾಲವಾಗಿವೆ ಮತ್ತು ನಮ್ಮ ದೈನಂದಿನ ಡಿಜಿಟಲ್ ಜೀವನದಲ್ಲಿ ಸಂಯೋಜಿಸಲ್ಪಟ್ಟಿವೆ, ಅವುಗಳೆಂದರೆ:

• ಯಂತ್ರ ಅನುವಾದ: ಔಟ್‌ಪುಟ್ ವಾಕ್ಯವು ಉದ್ದೇಶಿತ ಭಾಷೆಯಲ್ಲಿ ನಿರರ್ಗಳವಾಗಿ ಮತ್ತು ವ್ಯಾಕರಣಬದ್ಧವಾಗಿ ಸರಿಯಾಗಿದೆ ಎಂದು ಖಚಿತಪಡಿಸುವುದು.
• ಭಾಷಣ ಗುರುತಿಸುವಿಕೆ: ಧ್ವನಿಶಾಸ್ತ್ರೀಯವಾಗಿ ಒಂದೇ ರೀತಿಯ ನುಡಿಗಟ್ಟುಗಳ ನಡುವೆ ವ್ಯತ್ಯಾಸವನ್ನು ಗುರುತಿಸುವುದು (ಉದಾ. "recognize speech" vs. "wreck a nice beach").
• ಭವಿಷ್ಯಸೂಚಕ ಪಠ್ಯ ಮತ್ತು ಸ್ವಯಂಪೂರ್ಣತೆ: ನೀವು ಟೈಪ್ ಮಾಡುವಾಗ ಮುಂದಿನ ಪದ ಅಥವಾ ನುಡಿಗಟ್ಟು ಸೂಚಿಸುವುದು.
• ಕಾಗುಣಿತ ಮತ್ತು ವ್ಯಾಕರಣ ತಿದ್ದುಪಡಿ: ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯವಾಗಿ ಅಸಂಭವ ಪದಗಳ ಅನುಕ್ರಮಗಳನ್ನು ಗುರುತಿಸುವುದು ಮತ್ತು ಗುರುತಿಸುವುದು.

N-ಗ್ರಾಂಗಳನ್ನು ಪರಿಚಯಿಸುವುದು: ಪ್ರಮುಖ ಪರಿಕಲ್ಪನೆ

N-ಗ್ರಾಂ ಎಂದರೆ ಕೊಟ್ಟಿರುವ ಪಠ್ಯ ಅಥವಾ ಭಾಷಣದ ಮಾದರಿಯಿಂದ 'n' ವಸ್ತುಗಳ ನಿರಂತರ ಅನುಕ್ರಮ. 'ವಸ್ತುಗಳು' ಸಾಮಾನ್ಯವಾಗಿ ಪದಗಳಾಗಿರುತ್ತವೆ, ಆದರೆ ಅವು ಅಕ್ಷರಗಳು, ಉಚ್ಚಾರಾಂಶಗಳು ಅಥವಾ ಫೋನೆಮ್‌ಗಳೂ ಆಗಿರಬಹುದು. N-ಗ್ರಾಂನಲ್ಲಿರುವ 'n' ಒಂದು ಸಂಖ್ಯೆಯನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತದೆ, ಇದು ನಿರ್ದಿಷ್ಟ ಹೆಸರುಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ:

• ಯೂನಿಗ್ರಾಂ (n=1): ಒಂದೇ ಪದ. (ಉದಾ., "The", "quick", "brown", "fox")
• ಬೈಗ್ರಾಂ (n=2): ಎರಡು ಪದಗಳ ಅನುಕ್ರಮ. (ಉದಾ., "The quick", "quick brown", "brown fox")
• ಟ್ರೈಗ್ರಾಂ (n=3): ಮೂರು ಪದಗಳ ಅನುಕ್ರಮ. (ಉದಾ., "The quick brown", "quick brown fox")

N-ಗ್ರಾಂ ಭಾಷಾ ಮಾದರಿಯ ಹಿಂದಿನ ಮೂಲಭೂತ ಕಲ್ಪನೆಯೆಂದರೆ, ಅನುಕ್ರಮದಲ್ಲಿನ ಮುಂದಿನ ಪದವನ್ನು ಅದಕ್ಕೂ ಮೊದಲು ಬಂದ 'n-1' ಪದಗಳನ್ನು ನೋಡುವ ಮೂಲಕ ನಾವು ಊಹಿಸಬಹುದು. ವಾಕ್ಯದ ಸಂಪೂರ್ಣ ವ್ಯಾಕರಣ ಮತ್ತು ಶಬ್ದಾರ್ಥದ ಸಂಕೀರ್ಣತೆಯನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಪ್ರಯತ್ನಿಸುವ ಬದಲು, ನಾವು ಸಮಸ್ಯೆಯ ಕಷ್ಟವನ್ನು ನಾಟಕೀಯವಾಗಿ ಕಡಿಮೆ ಮಾಡುವ ಸರಳೀಕೃತ ಊಹೆಯನ್ನು ಮಾಡುತ್ತೇವೆ.

N-ಗ್ರಾಂಗಳ ಹಿಂದಿನ ಗಣಿತ: ಸಂಭವನೀಯತೆ ಮತ್ತು ಸರಳೀಕರಣ

ಒಂದು ವಾಕ್ಯದ ಸಂಭವನೀಯತೆಯನ್ನು (ಪದಗಳ ಅನುಕ್ರಮ W = w₁, w₂, ..., wₖ) ಔಪಚಾರಿಕವಾಗಿ ಲೆಕ್ಕಾಚಾರ ಮಾಡಲು, ನಾವು ಸಂಭವನೀಯತೆಯ ಚೈನ್ ನಿಯಮವನ್ನು ಬಳಸಬಹುದು:

P(W) = P(w₁) * P(w₂|w₁) * P(w₃|w₁, w₂) * ... * P(wₖ|w₁, ..., wₖ₋₁)

ಈ ಸೂತ್ರವು ಇಡೀ ಅನುಕ್ರಮದ ಸಂಭವನೀಯತೆಯು ಪ್ರತಿ ಪದದ ಸಶ್ತೀಕೃತ ಸಂಭವನೀಯತೆಗಳ ಉತ್ಪನ್ನವಾಗಿದೆ ಎಂದು ಹೇಳುತ್ತದೆ, ಅದಕ್ಕೂ ಮೊದಲು ಬಂದ ಎಲ್ಲಾ ಪದಗಳನ್ನು ನೀಡಿದರೆ. ಗಣಿತೀಯವಾಗಿ ಸರಿಯಾಗಿದ್ದರೂ, ಈ ವಿಧಾನವು ಪ್ರಾಯೋಗಿಕವಾಗಿಲ್ಲ. ಹಿಂದಿನ ಪದಗಳ ದೀರ್ಘ ಇತಿಹಾಸವನ್ನು ನೀಡಿದರೆ ಒಂದು ಪದದ ಸಂಭವನೀಯತೆಯನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುವುದು (ಉದಾಹರಣೆಗೆ, P(ಪದ | "The quick brown fox jumps over the lazy dog and then...")) ವಿಶ್ವಾಸಾರ್ಹ ಅಂದಾಜು ಮಾಡಲು ಸಾಕಷ್ಟು ಉದಾಹರಣೆಗಳನ್ನು ಕಂಡುಹಿಡಿಯಲು ಅಸಾಧ್ಯವಾದಷ್ಟು ದೊಡ್ಡ ಪ್ರಮಾಣದ ಪಠ್ಯ ಡೇಟಾವನ್ನು ಬಯಸುತ್ತದೆ.

ಮಾರ್ಕೊವ್ ಊಹೆ: ಒಂದು ಪ್ರಾಯೋಗಿಕ ಸರಳೀಕರಣ

ಇಲ್ಲಿ N-ಗ್ರಾಂ ಮಾದರಿಗಳು ತಮ್ಮ ಪ್ರಮುಖ ಪರಿಕಲ್ಪನೆಯನ್ನು ಪರಿಚಯಿಸುತ್ತವೆ: ಮಾರ್ಕೊವ್ ಊಹೆ. ಈ ಊಹೆಯು ಒಂದು ಪದದ ಸಂಭವನೀಯತೆಯು ನಿರ್ದಿಷ್ಟ ಸಂಖ್ಯೆಯ ಹಿಂದಿನ ಪದಗಳ ಮೇಲೆ ಮಾತ್ರ ಅವಲಂಬಿತವಾಗಿರುತ್ತದೆ ಎಂದು ಹೇಳುತ್ತದೆ. ತಕ್ಷಣದ ಸಂದರ್ಭವು ಸಾಕು ಎಂದು ನಾವು ಭಾವಿಸುತ್ತೇವೆ ಮತ್ತು ಹೆಚ್ಚು ದೂರದ ಇತಿಹಾಸವನ್ನು ನಾವು ತಿರಸ್ಕರಿಸಬಹುದು.

• ಬೈಗ್ರಾಂ ಮಾದರಿಗೆ (n=2), ಒಂದು ಪದದ ಸಂಭವನೀಯತೆಯು ಕೇವಲ ಒಂದು ಹಿಂದಿನ ಪದದ ಮೇಲೆ ಮಾತ್ರ ಅವಲಂಬಿತವಾಗಿದೆ ಎಂದು ನಾವು ಊಹಿಸುತ್ತೇವೆ:
  P(wᵢ | w₁, ..., wᵢ₋₁) ≈ P(wᵢ | wᵢ₋₁)
• ಟ್ರೈಗ್ರಾಂ ಮಾದರಿಗೆ (n=3), ಇದು ಎರಡು ಹಿಂದಿನ ಪದಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ ಎಂದು ನಾವು ಊಹಿಸುತ್ತೇವೆ:
  P(wᵢ | w₁, ..., wᵢ₋₁) ≈ P(wᵢ | wᵢ₋₁, wᵢ₋₂)

ಈ ಊಹೆಯು ಸಮಸ್ಯೆಯನ್ನು ಗಣನಾತ್ಮಕವಾಗಿ ನಿರ್ವಹಿಸುವಂತೆ ಮಾಡುತ್ತದೆ. ಒಂದು ಪದದ ಸಂಭವನೀಯತೆಯನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡಲು ಅದರ ನಿಖರವಾದ ಸಂಪೂರ್ಣ ಇತಿಹಾಸವನ್ನು ನೋಡುವ ಅಗತ್ಯವಿಲ್ಲ, ಕೇವಲ ಕೊನೆಯ n-1 ಪದಗಳನ್ನು ನೋಡಿದರೆ ಸಾಕು.

N-ಗ್ರಾಂ ಸಂಭವನೀಯತೆಗಳನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುವುದು

ಮಾರ್ಕೊವ್ ಊಹೆಯು ಜಾರಿಯಲ್ಲಿರುವಾಗ, ನಾವು ಈ ಸರಳೀಕೃತ ಸಂಭವನೀಯತೆಗಳನ್ನು ಹೇಗೆ ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತೇವೆ? ನಾವು ಗರಿಷ್ಠ ಸಂಭವನೀಯತೆ ಅಂದಾಜು (MLE) ಎಂಬ ವಿಧಾನವನ್ನು ಬಳಸುತ್ತೇವೆ, ಇದು ನಮ್ಮ ತರಬೇತಿ ಪಠ್ಯದಲ್ಲಿ (ಕಾರ್ಪಸ್) ಇರುವ ಎಣಿಕೆಗಳಿಂದ ನೇರವಾಗಿ ಸಂಭವನೀಯತೆಗಳನ್ನು ಪಡೆಯುತ್ತೇವೆ ಎಂದು ಹೇಳಲು ಒಂದು ಆಕರ್ಷಕ ಮಾರ್ಗವಾಗಿದೆ.

ಬೈಗ್ರಾಂ ಮಾದರಿಗೆ, wᵢ ಪದದ ನಂತರ wᵢ₋₁ ಪದದ ಸಂಭವನೀಯತೆಯನ್ನು ಹೀಗೆ ಲೆಕ್ಕಾಚಾರ ಮಾಡಲಾಗುತ್ತದೆ:

P(wᵢ | wᵢ₋₁) = Count(wᵢ₋₁, wᵢ) / Count(wᵢ₋₁)

ಪದಗಳಲ್ಲಿ ಹೇಳುವುದಾದರೆ: ಪದ B ನಂತರ ಪದ A ಯನ್ನು ನೋಡುವ ಸಂಭವನೀಯತೆಯು "A B" ಜೋಡಿಯನ್ನು ನಾವು ನೋಡಿದ ಸಂಖ್ಯೆಯನ್ನು, ನಾವು ಒಟ್ಟಾರೆಯಾಗಿ "A" ಪದವನ್ನು ನೋಡಿದ ಸಂಖ್ಯೆಯಿಂದ ಭಾಗಿಸಿದರೆ ಸಿಗುತ್ತದೆ.

ಉದಾಹರಣೆಯಾಗಿ ಒಂದು ಸಣ್ಣ ಕಾರ್ಪಸ್ ಅನ್ನು ಬಳಸೋಣ: "The cat sat. The dog sat."

• Count("The") = 2
• Count("cat") = 1
• Count("dog") = 1
• Count("sat") = 2
• Count("The cat") = 1
• Count("The dog") = 1
• Count("cat sat") = 1
• Count("dog sat") = 1

"The" ನಂತರ "cat" ಬರುವ ಸಂಭವನೀಯತೆ ಎಷ್ಟು?
P("cat" | "The") = Count("The cat") / Count("The") = 1 / 2 = 0.5

"cat" ನಂತರ "sat" ಬರುವ ಸಂಭವನೀಯತೆ ಎಷ್ಟು?
P("sat" | "cat") = Count("cat sat") / Count("cat") = 1 / 1 = 1.0

ಮೊದಲಿನಿಂದ ಹಂತ-ಹಂತದ ಅನುಷ್ಠಾನ

ಈ ಸಿದ್ಧಾಂತವನ್ನು ಪ್ರಾಯೋಗಿಕ ಅನುಷ್ಠಾನಕ್ಕೆ ಭಾಷಾಂತರಿಸೋಣ. ನಾವು ಹಂತಗಳನ್ನು ಭಾಷೆ-ಮುಕ್ತ ರೀತಿಯಲ್ಲಿ ವಿವರಿಸುತ್ತೇವೆ, ಆದರೂ ತರ್ಕವು ಪೈಥಾನ್‌ನಂತಹ ಭಾಷೆಗಳಿಗೆ ನೇರವಾಗಿ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ.

ಹಂತ 1: ಡೇಟಾ ಪೂರ್ವ-ಸಂಸ್ಕರಣೆ ಮತ್ತು ಟೋಕನೈಸೇಶನ್

ಯಾವುದನ್ನಾದರೂ ಲೆಕ್ಕ ಹಾಕುವ ಮೊದಲು, ನಮ್ಮ ಪಠ್ಯ ಕಾರ್ಪಸ್ ಅನ್ನು ನಾವು ಸಿದ್ಧಪಡಿಸಬೇಕು. ಇದು ನಮ್ಮ ಮಾದರಿಯ ಗುಣಮಟ್ಟವನ್ನು ರೂಪಿಸುವ ನಿರ್ಣಾಯಕ ಹಂತವಾಗಿದೆ.

1. ಟೋಕನೈಸೇಶನ್: ಪಠ್ಯದ ಒಂದು ಭಾಗವನ್ನು ಸಣ್ಣ ಘಟಕಗಳಾಗಿ, ಟೋಕನ್‌ಗಳು ಎಂದು ಕರೆಯಲಾಗುವ (ನಮ್ಮ ಸಂದರ್ಭದಲ್ಲಿ, ಪದಗಳು) ವಿಭಜಿಸುವ ಪ್ರಕ್ರಿಯೆ. ಉದಾಹರಣೆಗೆ, "The cat sat." ["The", "cat", "sat", "."] ಆಗುತ್ತದೆ.
2. ಲೋವರ್‌ಕೇಸಿಂಗ್: ಎಲ್ಲಾ ಪಠ್ಯವನ್ನು ಸಣ್ಣ ಅಕ್ಷರಗಳಿಗೆ ಪರಿವರ್ತಿಸುವುದು ಸಾಮಾನ್ಯ ಅಭ್ಯಾಸವಾಗಿದೆ. ಇದು ಮಾದರಿಯು "The" ಮತ್ತು "the" ಅನ್ನು ಎರಡು ವಿಭಿನ್ನ ಪದಗಳಾಗಿ ಪರಿಗಣಿಸುವುದನ್ನು ತಡೆಯುತ್ತದೆ, ಇದು ನಮ್ಮ ಎಣಿಕೆಗಳನ್ನು ಕ್ರೋಢೀಕರಿಸಲು ಮತ್ತು ಮಾದರಿಯನ್ನು ಹೆಚ್ಚು ದೃಢವಾಗಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.
3. ಪ್ರಾರಂಭ ಮತ್ತು ನಿಲುಗಡೆ ಟೋಕನ್‌ಗಳನ್ನು ಸೇರಿಸುವುದು: ಇದು ನಿರ್ಣಾಯಕ ತಂತ್ರವಾಗಿದೆ. ನಾವು ಪ್ರತಿ ವಾಕ್ಯದ ಪ್ರಾರಂಭ ಮತ್ತು ಕೊನೆಗೆ <s> (ಪ್ರಾರಂಭ) ಮತ್ತು </s> (ನಿಲುಗಡೆ) ನಂತಹ ವಿಶೇಷ ಟೋಕನ್‌ಗಳನ್ನು ಸೇರಿಸುತ್ತೇವೆ. ಏಕೆ? ಇದು ಮಾದರಿಯು ವಾಕ್ಯದ ಪ್ರಾರಂಭದಲ್ಲಿರುವ ಪದದ ಸಂಭವನೀಯತೆಯನ್ನು (ಉದಾಹರಣೆಗೆ, P("The" | <s>)) ಲೆಕ್ಕಾಚಾರ ಮಾಡಲು ಅನುಮತಿಸುತ್ತದೆ ಮತ್ತು ಸಂಪೂರ್ಣ ವಾಕ್ಯದ ಸಂಭವನೀಯತೆಯನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ. ನಮ್ಮ ಉದಾಹರಣೆ ವಾಕ್ಯ "the cat sat." ["<s>", "the", "cat", "sat", ".", "</s>"] ಆಗುತ್ತದೆ.

ಹಂತ 2: N-ಗ್ರಾಂಗಳನ್ನು ಎಣಿಸುವುದು

ಪ್ರತಿ ವಾಕ್ಯಕ್ಕೆ ಟೋಕನ್‌ಗಳ ಸ್ಪಷ್ಟ ಪಟ್ಟಿಯನ್ನು ನಾವು ಪಡೆದ ನಂತರ, ಎಣಿಕೆಗಳನ್ನು ಪಡೆಯಲು ನಾವು ನಮ್ಮ ಕಾರ್ಪಸ್ ಮೂಲಕ ಪುನರಾವರ್ತಿಸುತ್ತೇವೆ. ಇದಕ್ಕಾಗಿ ಉತ್ತಮ ದತ್ತಾಂಶ ರಚನೆಯು ನಿಘಂಟು ಅಥವಾ ಹ್ಯಾಶ್ ಮ್ಯಾಪ್ ಆಗಿದೆ, ಅಲ್ಲಿ ಕೀಲಿಗಳು N-ಗ್ರಾಂಗಳು (ಟುಪಲ್‌ಗಳಾಗಿ ಪ್ರತಿನಿಧಿಸಲ್ಪಡುತ್ತವೆ) ಮತ್ತು ಮೌಲ್ಯಗಳು ಅವುಗಳ ಆವರ್ತನಗಳಾಗಿವೆ.

ಬೈಗ್ರಾಂ ಮಾದರಿಗೆ, ನಮಗೆ ಎರಡು ನಿಘಂಟುಗಳು ಬೇಕಾಗುತ್ತವೆ:

• unigram_counts: ಪ್ರತಿ ವೈಯಕ್ತಿಕ ಪದದ ಆವರ್ತನವನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ.
• bigram_counts: ಪ್ರತಿ ಎರಡು ಪದಗಳ ಅನುಕ್ರಮದ ಆವರ್ತನವನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ.

ನಿಮ್ಮ ಟೋಕನೈಸ್ ಮಾಡಿದ ವಾಕ್ಯಗಳ ಮೂಲಕ ನೀವು ಲೂಪ್ ಮಾಡುತ್ತೀರಿ. ["<s>", "the", "cat", "sat", "</s>"] ನಂತಹ ವಾಕ್ಯಕ್ಕಾಗಿ, ನೀವು ಹೀಗೆ ಮಾಡುತ್ತೀರಿ:

• ಯೂನಿಗ್ರಾಂಗಳ ಎಣಿಕೆಯನ್ನು ಹೆಚ್ಚಿಸಿ: "<s>", "the", "cat", "sat", "</s>".
• ಬೈಗ್ರಾಂಗಳ ಎಣಿಕೆಯನ್ನು ಹೆಚ್ಚಿಸಿ: ("<s>", "the"), ("the", "cat"), ("cat", "sat"), ("sat", "</s>").

ಹಂತ 3: ಸಂಭವನೀಯತೆಗಳನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುವುದು

ನಮ್ಮ ಎಣಿಕೆ ನಿಘಂಟುಗಳು ತುಂಬಿದ ನಂತರ, ನಾವು ಈಗ ಸಂಭವನೀಯತೆ ಮಾದರಿಯನ್ನು ನಿರ್ಮಿಸಬಹುದು. ನಾವು ಈ ಸಂಭವನೀಯತೆಗಳನ್ನು ಮತ್ತೊಂದು ನಿಘಂಟಿನಲ್ಲಿ ಸಂಗ್ರಹಿಸಬಹುದು ಅಥವಾ ಅವುಗಳನ್ನು ಹಾರಾಡುತ್ತ ಲೆಕ್ಕಾಚಾರ ಮಾಡಬಹುದು.

P(word₂ | word₁) ಅನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡಲು, ನೀವು bigram_counts[(word₁, word₂)] ಮತ್ತು unigram_counts[word₁] ಅನ್ನು ಹಿಂಪಡೆದು ವಿಭಾಗವನ್ನು ನಿರ್ವಹಿಸುತ್ತೀರಿ. ಎಲ್ಲಾ ಸಂಭವನೀಯ ಸಂಭವನೀಯತೆಗಳನ್ನು ಪೂರ್ವ-ಲೆಕ್ಕಾಚಾರ ಮಾಡಿ ಮತ್ತು ತ್ವರಿತ ಹುಡುಕಾಟಗಳಿಗಾಗಿ ಅವುಗಳನ್ನು ಸಂಗ್ರಹಿಸುವುದು ಉತ್ತಮ ಅಭ್ಯಾಸವಾಗಿದೆ.

ಹಂತ 4: ಪಠ್ಯವನ್ನು ರಚಿಸುವುದು (ಒಂದು ವಿನೋದದ ಅನ್ವಯ)

ನಿಮ್ಮ ಮಾದರಿಯನ್ನು ಪರೀಕ್ಷಿಸಲು ಉತ್ತಮ ಮಾರ್ಗವೆಂದರೆ ಅದನ್ನು ಹೊಸ ಪಠ್ಯವನ್ನು ರಚಿಸಲು ಅನುಮತಿಸುವುದು. ಪ್ರಕ್ರಿಯೆಯು ಹೀಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ:

1. ಆರಂಭಿಕ ಸಂದರ್ಭದೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ, ಉದಾಹರಣೆಗೆ, ಪ್ರಾರಂಭ ಟೋಕನ್ <s>.
2. <s> ನೊಂದಿಗೆ ಪ್ರಾರಂಭವಾಗುವ ಎಲ್ಲಾ ಬೈಗ್ರಾಂಗಳು ಮತ್ತು ಅವುಗಳ ಸಂಬಂಧಿತ ಸಂಭವನೀಯತೆಗಳನ್ನು ಹುಡುಕಿ.
3. ಈ ಸಂಭವನೀಯತಾ ವಿತರಣೆಯ ಆಧಾರದ ಮೇಲೆ ಮುಂದಿನ ಪದವನ್ನು ಯಾದೃಚ್ಛಿಕವಾಗಿ ಆಯ್ಕೆಮಾಡಿ (ಹೆಚ್ಚಿನ ಸಂಭವನೀಯತೆಗಳನ್ನು ಹೊಂದಿರುವ ಪದಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡುವ ಸಾಧ್ಯತೆ ಹೆಚ್ಚು).
4. ನಿಮ್ಮ ಸಂದರ್ಭವನ್ನು ನವೀಕರಿಸಿ. ಹೊಸದಾಗಿ ಆಯ್ಕೆಮಾಡಿದ ಪದವು ಮುಂದಿನ ಬೈಗ್ರಾಂನ ಮೊದಲ ಭಾಗವಾಗುತ್ತದೆ.
5. ನೀವು ನಿಲುಗಡೆ ಟೋಕನ್ </s> ಅನ್ನು ರಚಿಸುವವರೆಗೆ ಅಥವಾ ಅಪೇಕ್ಷಿತ ಉದ್ದವನ್ನು ತಲುಪುವವರೆಗೆ ಈ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಪುನರಾವರ್ತಿಸಿ.

ಸರಳ N-ಗ್ರಾಂ ಮಾದರಿಯಿಂದ ರಚಿಸಲಾದ ಪಠ್ಯವು ಸಂಪೂರ್ಣವಾಗಿ ಸುಸಂಬದ್ಧವಾಗಿರದಿರಬಹುದು, ಆದರೆ ಇದು ಸಾಮಾನ್ಯವಾಗಿ ವ್ಯಾಕರಣಬದ್ಧವಾಗಿ ಸಮಂಜಸವಾದ ಸಣ್ಣ ವಾಕ್ಯಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ, ಇದು ಮೂಲಭೂತ ಪದದಿಂದ ಪದದ ಸಂಬಂಧಗಳನ್ನು ಕಲಿತಿದೆ ಎಂದು ತೋರಿಸುತ್ತದೆ.

ವಿರಳತೆಯ ಸವಾಲು ಮತ್ತು ಪರಿಹಾರ: ಸ್ಮೂಥಿಂಗ್

ನಮ್ಮ ಮಾದರಿಯು ತರಬೇತಿಯ ಸಮಯದಲ್ಲಿ ಎಂದಿಗೂ ನೋಡದ ಬೈಗ್ರಾಂ ಅನ್ನು ಪರೀಕ್ಷೆಯ ಸಮಯದಲ್ಲಿ ಎದುರಿಸಿದರೆ ಏನಾಗುತ್ತದೆ? ಉದಾಹರಣೆಗೆ, ನಮ್ಮ ತರಬೇತಿ ಕಾರ್ಪಸ್ ಎಂದಿಗೂ "the purple dog" ಎಂಬ ಪದಗುಚ್ಛವನ್ನು ಹೊಂದಿರದಿದ್ದರೆ, ಆಗ:

Count("the", "purple") = 0

ಇದರರ್ಥ P("purple" | "the") 0 ಆಗುತ್ತದೆ. ಈ ಬೈಗ್ರಾಂ ನಾವು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಪ್ರಯತ್ನಿಸುತ್ತಿರುವ ಉದ್ದದ ವಾಕ್ಯದ ಭಾಗವಾಗಿದ್ದರೆ, ಸಂಪೂರ್ಣ ವಾಕ್ಯದ ಸಂಭವನೀಯತೆಯು ಶೂನ್ಯವಾಗುತ್ತದೆ, ಏಕೆಂದರೆ ನಾವು ಎಲ್ಲಾ ಸಂಭವನೀಯತೆಗಳನ್ನು ಒಟ್ಟಿಗೆ ಗುಣಿಸುತ್ತೇವೆ. ಇದು ಶೂನ್ಯ-ಸಂಭವನೀಯತೆ ಸಮಸ್ಯೆ, ದತ್ತಾಂಶ ವಿರಳತೆಯ ಒಂದು ಅಭಿವ್ಯಕ್ತಿ. ನಮ್ಮ ತರಬೇತಿ ಕಾರ್ಪಸ್ ಎಲ್ಲಾ ಸಂಭವನೀಯ ಮಾನ್ಯ ಪದ ಸಂಯೋಜನೆಗಳನ್ನು ಒಳಗೊಂಡಿದೆ ಎಂದು ಊಹಿಸುವುದು ಅವಾಸ್ತವಿಕವಾಗಿದೆ.

ಇದಕ್ಕೆ ಪರಿಹಾರವೆಂದರೆ ಸ್ಮೂಥಿಂಗ್. ಸ್ಮೂಥಿಂಗ್‌ನ ಪ್ರಮುಖ ಕಲ್ಪನೆಯೆಂದರೆ, ನಾವು ನೋಡಿದ N-ಗ್ರಾಂಗಳಿಂದ ಸಣ್ಣ ಪ್ರಮಾಣದ ಸಂಭವನೀಯತೆ ದ್ರವ್ಯರಾಶಿಯನ್ನು ತೆಗೆದುಕೊಂಡು ನಾವು ಎಂದಿಗೂ ನೋಡದ N-ಗ್ರಾಂಗಳಿಗೆ ವಿತರಿಸುವುದು. ಇದು ಯಾವುದೇ ಪದಗಳ ಅನುಕ್ರಮವು ನಿಖರವಾಗಿ ಶೂನ್ಯ ಸಂಭವನೀಯತೆಯನ್ನು ಹೊಂದಿಲ್ಲ ಎಂದು ಖಚಿತಪಡಿಸುತ್ತದೆ.

ಲ್ಯಾಪ್ಲೇಸ್ (ಆಡ್-ಒನ್) ಸ್ಮೂಥಿಂಗ್

ಅತ್ಯಂತ ಸರಳವಾದ ಸ್ಮೂಥಿಂಗ್ ತಂತ್ರವೆಂದರೆ ಲ್ಯಾಪ್ಲೇಸ್ ಸ್ಮೂಥಿಂಗ್, ಇದನ್ನು ಆಡ್-ಒನ್ ಸ್ಮೂಥಿಂಗ್ ಎಂದೂ ಕರೆಯಲಾಗುತ್ತದೆ. ಕಲ್ಪನೆಯು ನಂಬಲಾಗದಷ್ಟು ಅರ್ಥಗರ್ಭಿತವಾಗಿದೆ: ನಾವು ಪ್ರತಿಯೊಂದು ಸಂಭವನೀಯ N-ಗ್ರಾಂ ಅನ್ನು ವಾಸ್ತವವಾಗಿ ನೋಡಿದ್ದಕ್ಕಿಂತ ಇನ್ನೊಂದು ಬಾರಿ ನೋಡಿದ್ದೇವೆ ಎಂದು ನಟಿಸುವುದು.

ಸಂಭವನೀಯತೆಯ ಸೂತ್ರವು ಸ್ವಲ್ಪ ಬದಲಾಗುತ್ತದೆ. ನಾವು ಅಂಶದ ಎಣಿಕೆಗೆ 1 ಅನ್ನು ಸೇರಿಸುತ್ತೇವೆ. ಸಂಭವನೀಯತೆಗಳು ಇನ್ನೂ 1 ಕ್ಕೆ ಸೇರುತ್ತವೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು, ನಾವು ಸಂಪೂರ್ಣ ಶಬ್ದಕೋಶದ ಗಾತ್ರವನ್ನು (V) ಛೇದಕ್ಕೆ ಸೇರಿಸುತ್ತೇವೆ.

P_laplace(wᵢ | wᵢ₋₁) = (Count(wᵢ₋₁, wᵢ) + 1) / (Count(wᵢ₋₁) + V)

• ಒಳಿತು: ಅನುಷ್ಠಾನಗೊಳಿಸಲು ಬಹಳ ಸರಳ ಮತ್ತು ಶೂನ್ಯ ಸಂಭವನೀಯತೆಗಳಿಲ್ಲ ಎಂದು ಖಾತರಿಪಡಿಸುತ್ತದೆ.
• ಕೆಡುಕು: ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಕಾಣದ ಘಟನೆಗಳಿಗೆ ಹೆಚ್ಚು ಸಂಭವನೀಯತೆಯನ್ನು ನೀಡುತ್ತದೆ, ವಿಶೇಷವಾಗಿ ದೊಡ್ಡ ಶಬ್ದಕೋಶಗಳೊಂದಿಗೆ. ಈ ಕಾರಣಕ್ಕಾಗಿ, ಇದು ಹೆಚ್ಚು ಸುಧಾರಿತ ವಿಧಾನಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಪ್ರಾಯೋಗಿಕವಾಗಿ ಕಳಪೆಯಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.

ಆಡ್-ಕೆ ಸ್ಮೂಥಿಂಗ್

ಒಂದು ಸಣ್ಣ ಸುಧಾರಣೆಯೆಂದರೆ ಆಡ್-ಕೆ ಸ್ಮೂಥಿಂಗ್, ಇಲ್ಲಿ 1 ಅನ್ನು ಸೇರಿಸುವ ಬದಲು, ನಾವು ಸಣ್ಣ ಭಿನ್ನರಾಶಿ ಮೌಲ್ಯ 'k' (ಉದಾ., 0.01) ಅನ್ನು ಸೇರಿಸುತ್ತೇವೆ. ಇದು ಹೆಚ್ಚು ಸಂಭವನೀಯತೆ ದ್ರವ್ಯರಾಶಿಯನ್ನು ಮರುಹಂಚಿಕೆ ಮಾಡುವ ಪರಿಣಾಮವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

P_add_k(wᵢ | wᵢ₋₁) = (Count(wᵢ₋₁, wᵢ) + k) / (Count(wᵢ₋₁) + k*V)

ಆಡ್-ಒನ್ ಗಿಂತ ಉತ್ತಮವಾಗಿದ್ದರೂ, ಸೂಕ್ತವಾದ 'k' ಅನ್ನು ಕಂಡುಹಿಡಿಯುವುದು ಸವಾಲಾಗಬಹುದು. ಗುಡ್-ಟ್ಯೂರಿಂಗ್ ಸ್ಮೂಥಿಂಗ್ ಮತ್ತು ನೀಸರ್-ನೇ ಸ್ಮೂಥಿಂಗ್ ನಂತಹ ಹೆಚ್ಚು ಸುಧಾರಿತ ತಂತ್ರಗಳು ಅಸ್ತಿತ್ವದಲ್ಲಿವೆ ಮತ್ತು ಅನೇಕ NLP ಟೂಲ್‌ಕಿಟ್‌ಗಳಲ್ಲಿ ಪ್ರಮಾಣಿತವಾಗಿವೆ, ಕಾಣದ ಘಟನೆಗಳ ಸಂಭವನೀಯತೆಯನ್ನು ಅಂದಾಜು ಮಾಡಲು ಹೆಚ್ಚು ಅತ್ಯಾಧುನಿಕ ಮಾರ್ಗಗಳನ್ನು ನೀಡುತ್ತವೆ.

ಭಾಷಾ ಮಾದರಿಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು: ಗೊಂದಲ (Perplexity)

ನಮ್ಮ N-ಗ್ರಾಂ ಮಾದರಿಯು ಉತ್ತಮವಾಗಿದೆಯೇ ಎಂದು ನಮಗೆ ಹೇಗೆ ತಿಳಿಯುತ್ತದೆ? ಅಥವಾ ನಮ್ಮ ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯಕ್ಕಾಗಿ ಟ್ರೈಗ್ರಾಂ ಮಾದರಿಯು ಬೈಗ್ರಾಂ ಮಾದರಿಗಿಂತ ಉತ್ತಮವಾಗಿದೆಯೇ? ನಮಗೆ ಮೌಲ್ಯಮಾಪನಕ್ಕಾಗಿ ಪರಿಮಾಣಾತ್ಮಕ ಮೆಟ್ರಿಕ್ ಅಗತ್ಯವಿದೆ. ಭಾಷಾ ಮಾದರಿಗಳಿಗೆ ಅತ್ಯಂತ ಸಾಮಾನ್ಯ ಮೆಟ್ರಿಕ್ ಗೊಂದಲ (perplexity).

ಗೊಂದಲವು ಸಂಭವನೀಯತಾ ಮಾದರಿಯು ಮಾದರಿಯನ್ನು ಎಷ್ಟು ಉತ್ತಮವಾಗಿ ಊಹಿಸುತ್ತದೆ ಎಂಬುದರ ಅಳತೆಯಾಗಿದೆ. ಅಂತರ್ಬೋಧೆಯಿಂದ, ಇದನ್ನು ಮಾದರಿಯ ತೂಕದ ಸರಾಸರಿ ಶಾಖೆ ಅಂಶ ಎಂದು ಪರಿಗಣಿಸಬಹುದು. ಒಂದು ಮಾದರಿಯು 50 ರ ಗೊಂದಲವನ್ನು ಹೊಂದಿದ್ದರೆ, ಪ್ರತಿ ಪದದಲ್ಲಿ, 50 ವಿಭಿನ್ನ ಪದಗಳಿಂದ ಏಕರೂಪವಾಗಿ ಮತ್ತು ಸ್ವತಂತ್ರವಾಗಿ ಆಯ್ಕೆ ಮಾಡಬೇಕಾದಂತೆ ಮಾದರಿಯು ಗೊಂದಲಕ್ಕೊಳಗಾಗಿದೆ ಎಂದರ್ಥ.

ಕಡಿಮೆ ಗೊಂದಲದ ಸ್ಕೋರ್ ಉತ್ತಮವಾಗಿದೆ, ಏಕೆಂದರೆ ಇದು ಮಾದರಿಯು ಪರೀಕ್ಷಾ ಡೇಟಾದಿಂದ ಕಡಿಮೆ "ಆಶ್ಚರ್ಯಚಕಿತವಾಗಿದೆ" ಮತ್ತು ಅದು ವಾಸ್ತವವಾಗಿ ನೋಡುವ ಅನುಕ್ರಮಗಳಿಗೆ ಹೆಚ್ಚಿನ ಸಂಭವನೀಯತೆಗಳನ್ನು ನೀಡುತ್ತದೆ ಎಂದು ಸೂಚಿಸುತ್ತದೆ.

ಗೊಂದಲವನ್ನು ಪರೀಕ್ಷಾ ಸಮುದಾಯದ ವಿಲೋಮ ಸಂಭವನೀಯತೆಯಾಗಿ ಲೆಕ್ಕಾಚಾರ ಮಾಡಲಾಗುತ್ತದೆ, ಇದನ್ನು ಪದಗಳ ಸಂಖ್ಯೆಯಿಂದ ಸಾಮಾನ್ಯಗೊಳಿಸಲಾಗುತ್ತದೆ. ಸುಲಭವಾದ ಗಣನೆಗಾಗಿ ಇದನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಅದರ ಲಾಗರಿಥಮಿಕ್ ರೂಪದಲ್ಲಿ ಪ್ರತಿನಿಧಿಸಲಾಗುತ್ತದೆ. ಉತ್ತಮ ಭವಿಷ್ಯಸೂಚಕ ಶಕ್ತಿಯನ್ನು ಹೊಂದಿರುವ ಮಾದರಿಯು ಪರೀಕ್ಷಾ ವಾಕ್ಯಗಳಿಗೆ ಹೆಚ್ಚಿನ ಸಂಭವನೀಯತೆಗಳನ್ನು ನೀಡುತ್ತದೆ, ಇದರ ಪರಿಣಾಮವಾಗಿ ಕಡಿಮೆ ಗೊಂದಲ ಉಂಟಾಗುತ್ತದೆ.

N-ಗ್ರಾಂ ಮಾದರಿಗಳ ಮಿತಿಗಳು

ಅವುಗಳ ಮೂಲಭೂತ ಪ್ರಾಮುಖ್ಯತೆಯ ಹೊರತಾಗಿಯೂ, N-ಗ್ರಾಂ ಮಾದರಿಗಳು ಗಮನಾರ್ಹ ಮಿತಿಗಳನ್ನು ಹೊಂದಿವೆ, ಇದು NLP ಕ್ಷೇತ್ರವನ್ನು ಹೆಚ್ಚು ಸಂಕೀರ್ಣವಾದ ವಾಸ್ತುಶಿಲ್ಪಗಳ ಕಡೆಗೆ ಪ್ರೇರೇಪಿಸಿದೆ:

• ದತ್ತಾಂಶ ವಿರಳತೆ: ಸ್ಮೂಥಿಂಗ್‌ನೊಂದಿಗೆ ಕೂಡ, ದೊಡ್ಡ N ಗಳಿಗೆ (ಟ್ರೈಗ್ರಾಂಗಳು, 4-ಗ್ರಾಂಗಳು, ಇತ್ಯಾದಿ), ಸಂಭವನೀಯ ಪದ ಸಂಯೋಜನೆಗಳ ಸಂಖ್ಯೆ ಅತಿ ಹೆಚ್ಚಾಗುತ್ತದೆ. ಅವುಗಳಲ್ಲಿ ಹೆಚ್ಚಿನವುಗಳ ಸಂಭವನೀಯತೆಗಳನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಅಂದಾಜು ಮಾಡಲು ಸಾಕಷ್ಟು ಡೇಟಾವನ್ನು ಹೊಂದಿರುವುದು ಅಸಾಧ್ಯವಾಗುತ್ತದೆ.
• ಸಂಗ್ರಹಣೆ: ಮಾದರಿಯು ಎಲ್ಲಾ N-ಗ್ರಾಂ ಎಣಿಕೆಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. ಶಬ್ದಕೋಶ ಮತ್ತು N ಹೆಚ್ಚಾದಂತೆ, ಈ ಎಣಿಕೆಗಳನ್ನು ಸಂಗ್ರಹಿಸಲು ಅಗತ್ಯವಿರುವ ಮೆಮೊರಿ ಅಗಾಧವಾಗಬಹುದು.
• ದೀರ್ಘ-ಶ್ರೇಣಿಯ ಅವಲಂಬನೆಗಳನ್ನು ಗ್ರಹಿಸುವ ಅಸಾಮರ್ಥ್ಯ: ಇದು ಅವುಗಳ ಅತ್ಯಂತ ನಿರ್ಣಾಯಕ ದೋಷ. N-ಗ್ರಾಂ ಮಾದರಿಯು ಬಹಳ ಸೀಮಿತ ಸ್ಮರಣೆಯನ್ನು ಹೊಂದಿದೆ. ಉದಾಹರಣೆಗೆ, ಒಂದು ಟ್ರೈಗ್ರಾಂ ಮಾದರಿಯು ಎರಡು ಸ್ಥಾನಗಳಿಗಿಂತ ಹೆಚ್ಚು ಮೊದಲು ಕಾಣಿಸಿಕೊಂಡ ಪದವನ್ನು ಮತ್ತೊಂದು ಪದಕ್ಕೆ ಸಂಪರ್ಕಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ಈ ವಾಕ್ಯವನ್ನು ಪರಿಗಣಿಸಿ: "ಹಲವಾರು ಹೆಚ್ಚು ಮಾರಾಟವಾಗುವ ಕಾದಂಬರಿಗಳನ್ನು ಬರೆದ ಮತ್ತು ದೂರದ ದೇಶದ ಒಂದು ಸಣ್ಣ ಪಟ್ಟಣದಲ್ಲಿ ದಶಕಗಳ ಕಾಲ ವಾಸಿಸಿದ್ದ ಲೇಖಕರು ನಿರರ್ಗಳವಾಗಿ ___. ಮಾತನಾಡುತ್ತಾರೆ." ಕೊನೆಯ ಪದವನ್ನು ಊಹಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿರುವ ಟ್ರೈಗ್ರಾಂ ಮಾದರಿಯು "ನಿರರ್ಗಳವಾಗಿ ಮಾತನಾಡುತ್ತಾರೆ" ಎಂಬ ಸಂದರ್ಭವನ್ನು ಮಾತ್ರ ನೋಡುತ್ತದೆ. ಅದಕ್ಕೆ "ಲೇಖಕರು" ಅಥವಾ ಸ್ಥಳದ ಬಗ್ಗೆ ಯಾವುದೇ ಜ್ಞಾನವಿಲ್ಲ, ಇದು ನಿರ್ಣಾಯಕ ಸುಳಿವುಗಳಾಗಿವೆ. ಇದು ದೂರದ ಪದಗಳ ನಡುವಿನ ಶಬ್ದಾರ್ಥದ ಸಂಬಂಧವನ್ನು ಗ್ರಹಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ.

N-ಗ್ರಾಂಗಳ ಆಚೆಗೆ: ನರ ಭಾಷಾ ಮಾದರಿಗಳ ಉದಯ

ಈ ಮಿತಿಗಳು, ವಿಶೇಷವಾಗಿ ದೀರ್ಘ-ಶ್ರೇಣಿಯ ಅವಲಂಬನೆಗಳನ್ನು ನಿರ್ವಹಿಸುವ ಅಸಾಮರ್ಥ್ಯ, ನರ ಭಾಷಾ ಮಾದರಿಗಳ ಅಭಿವೃದ್ಧಿಗೆ ದಾರಿ ಮಾಡಿಕೊಟ್ಟವು. ರಿಕರಂಟ್ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳು (RNNs), ಲಾಂಗ್ ಶಾರ್ಟ್-ಟರ್ಮ್ ಮೆಮೊರಿ ನೆಟ್‌ವರ್ಕ್‌ಗಳು (LSTMs), ಮತ್ತು ವಿಶೇಷವಾಗಿ ಈಗ ಪ್ರಬಲವಾಗಿರುವ ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್‌ಗಳು (BERT ಮತ್ತು GPT ನಂತಹ ಮಾದರಿಗಳಿಗೆ ಶಕ್ತಿ ನೀಡುತ್ತವೆ) ಈ ನಿರ್ದಿಷ್ಟ ಸಮಸ್ಯೆಗಳನ್ನು ನಿವಾರಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ.

ವಿರಳ ಎಣಿಕೆಗಳನ್ನು ಅವಲಂಬಿಸುವ ಬದಲು, ನರ ಮಾದರಿಗಳು ಶಬ್ದಾರ್ಥದ ಸಂಬಂಧಗಳನ್ನು ಸೆರೆಹಿಡಿಯುವ ಪದಗಳ ದಟ್ಟವಾದ ವೆಕ್ಟರ್ ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು (ಎಂಬೆಡಿಂಗ್‌ಗಳು) ಕಲಿಯುತ್ತವೆ. ಅವುಗಳು ಹೆಚ್ಚು ಉದ್ದವಾದ ಅನುಕ್ರಮಗಳಲ್ಲಿ ಸಂದರ್ಭವನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಲು ಆಂತರಿಕ ಸ್ಮರಣೆ ಕಾರ್ಯವಿಧಾನಗಳನ್ನು ಬಳಸುತ್ತವೆ, ಇದು ಮಾನವ ಭಾಷೆಯಲ್ಲಿ ಅಂತರ್ಗತವಾಗಿರುವ ಜಟಿಲವಾದ ಮತ್ತು ದೀರ್ಘ-ಶ್ರೇಣಿಯ ಅವಲಂಬನೆಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.

ತೀರ್ಮಾನ: NLP ಯ ಮೂಲಭೂತ ಆಧಾರಸ್ತಂಭ

ಆಧುನಿಕ NLP ದೊಡ್ಡ ಪ್ರಮಾಣದ ನರಗಳ ನೆಟ್‌ವರ್ಕ್‌ಗಳಿಂದ ಪ್ರಾಬಲ್ಯ ಸಾಧಿಸಿದ್ದರೂ, N-ಗ್ರಾಂ ಮಾದರಿಯು ಅನಿವಾರ್ಯ ಶೈಕ್ಷಣಿಕ ಸಾಧನವಾಗಿ ಮತ್ತು ಅನೇಕ ಕಾರ್ಯಗಳಿಗೆ ಆಶ್ಚರ್ಯಕರವಾಗಿ ಪರಿಣಾಮಕಾರಿ ಮೂಲಭೂತವಾಗಿ ಉಳಿದಿದೆ. ಇದು ಭಾಷಾ ಮಾದರಿಯ ಪ್ರಮುಖ ಸವಾಲಿಗೆ ಸ್ಪಷ್ಟ, ವ್ಯಾಖ್ಯಾನಿಸಬಹುದಾದ ಮತ್ತು ಗಣನಾತ್ಮಕವಾಗಿ ಪರಿಣಾಮಕಾರಿ ಪರಿಚಯವನ್ನು ನೀಡುತ್ತದೆ: ಭವಿಷ್ಯವನ್ನು ಊಹಿಸಲು ಹಿಂದಿನ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ಮಾದರಿಗಳನ್ನು ಬಳಸುವುದು.

ಮೊದಲಿನಿಂದ N-ಗ್ರಾಂ ಮಾದರಿಯನ್ನು ನಿರ್ಮಿಸುವ ಮೂಲಕ, ನೀವು NLP ಸಂದರ್ಭದಲ್ಲಿ ಸಂಭವನೀಯತೆ, ದತ್ತಾಂಶ ವಿರಳತೆ, ಸ್ಮೂಥಿಂಗ್ ಮತ್ತು ಮೌಲ್ಯಮಾಪನದ ಆಳವಾದ, ಮೊದಲ-ತತ್ವಗಳ ತಿಳುವಳಿಕೆಯನ್ನು ಪಡೆಯುತ್ತೀರಿ. ಈ ಜ್ಞಾನವು ಕೇವಲ ಐತಿಹಾಸಿಕವಲ್ಲ; ಇದು ಆಧುನಿಕ AI ನ ಎತ್ತರದ ಗಗನಚುಂಬಿ ಕಟ್ಟಡಗಳನ್ನು ನಿರ್ಮಿಸಲಾಗಿರುವ ಪರಿಕಲ್ಪನಾ ಆಧಾರವಾಗಿದೆ. ಭಾಷೆಯನ್ನು ಸಂಭವನೀಯತೆಗಳ ಅನುಕ್ರಮವಾಗಿ ಯೋಚಿಸಲು ಇದು ನಿಮಗೆ ಕಲಿಸುತ್ತದೆ—ಇದು ಯಾವುದೇ ಭಾಷಾ ಮಾದರಿಯನ್ನು ಕರಗತ ಮಾಡಿಕೊಳ್ಳಲು ಅವಶ್ಯಕವಾದ ದೃಷ್ಟಿಕೋನ, ಅದು ಎಷ್ಟೇ ಸಂಕೀರ್ಣವಾಗಿದ್ದರೂ ಸಹ.